home *** CD-ROM | disk | FTP | other *** search
/ Night Owl 6 / Night Owl's Shareware - PDSI-006 - Night Owl Corp (1990).iso / 004a / telcoma1.zip / 91140.TXT < prev    next >
Text File  |  1991-08-10  |  41KB  |  857 lines

  1.                      U.S. DEPARTMENT OF EDUCATION
  2.             OFFICE OF EDUCATIONAL RESEARCH AND IMPROVEMENT
  3.               NATIONAL CENTER FOR EDUCATIONAL STATISTICS
  4.  
  5.                                JUNE 1991
  6.  
  7.                        A GUIDE TO IMPROVING THE
  8.                     NATIONAL EDUCATION DATA SYSTEM
  9.                            EXECUTIVE SUMMARY
  10.  
  11.  
  12. Introduction
  13.  
  14. This document provides an overview of the GUIDE TO IMPROVING THE
  15. NATIONAL EDUCATION DATA SYSTEM, the first publication of the newly
  16. created National Forum on Education Statistics.  The GUIDE contains 36
  17. recommendations for improving the Nation's elementary and secondary
  18. education statistics system.  This proposed national education data
  19. agenda is the product of a broad-based, consensus-building process that
  20. brought together representatives of State and Federal education
  21. agencies and of organizations with a major interest in education data. 
  22. Together they have agreed on the types of improvements that are most
  23. important for enhancing the usefulness of the education data base.
  24.  
  25. The cooperative decisionmaking model that shaped the development of the
  26. GUIDE and that informs other activities of the National Forum on
  27. Education Statistics reflects the spirit of the National Cooperative
  28. Education Statistics System, created by the Hawkins-Stafford Education
  29. Amendments of 1988 (P.L. 100-297).  The Cooperative System provides a
  30. legislative mandate and structure for the Federal-State partnership
  31. that collects and reports elementary and secondary education statistics
  32. under the auspices of the National Center for Education Statistics
  33. (NCES) of the U.S. Department of Education.
  34.  
  35. Established in 1989, the National Forum is the principal mechanism for
  36. implementing the goals of the Cooperative System.  The National Forum
  37. is an independent body whose mission is to propose and support
  38. improvements in the Cooperative System and the elementary and secondary
  39. education data base through the collaborative effort of all of its
  40. members.  Nearly a hundred individuals who represent State and Federal
  41. education agencies and national education organizations make up the
  42. Forum's membership.  The National Education Statistics Agenda Committee
  43. (NESAC) of the National Forum prepared the GUIDE, which has been
  44. endorsed by the Forum.  The GUIDE is available through the
  45. Superintendent of Documents, U.S. Government Printing Office,
  46. Washington, D.C.  Please Check with GPO for the cost of the
  47. publication.  See phone number on form below.
  48.  
  49. Executive Summary
  50.  
  51. Good data help to make good policies!  That simple credo embodies the
  52. rationale for this document--the first "product" of the newly created
  53. National Forum on Education Statistics.  Prepared by the National
  54. Education Statistics Agenda Committee (NESAC) of the National Forum,
  55. the GUIDE marks a first step in fulfilling the mandate to develop and
  56. propose an agenda for improving the Nation's elementary and secondary
  57. education statistics system in order to meet the needs of education
  58. policymakers, planners, and practitioners in the 1990s and beyond.  
  59.  
  60. The GUIDE examines the strengths and weaknesses of the current
  61. elementary and secondary education data system and presents
  62. recommendations for improving the system's usefulness. Much of what we
  63. say is not new. In recent years scholars, policymakers, practitioners,
  64. and others have devoted considerable attention to the question of how
  65. to improve national education data.
  66.  
  67. What is unique, and even revolutionary, about the GUIDE is that it is
  68. the product of a broad-based, consensus-building process. For the first
  69. time, representatives of State and Federal education agencies, as well
  70. as of organizations with a major interest in education data, have
  71. agreed on the types of improvements that are most important for
  72. enhancing the usefulness of the national elementary and secondary
  73. education statistical data base.  Despite differences in data needs and
  74. diverse constituencies, members of the National Education Statistics
  75. Agenda Committee have worked cooperatively to develop a broad agenda
  76. for action.
  77.  
  78. A useful and responsive national education data system must, to the
  79. extent feasible, accommodate the high-priority data needs of its
  80. various "education stakeholders."  Thus, the Guide offers a data
  81. improvement itinerary for overcoming significant limitations in the
  82. ability of the present data system to address important policy
  83. concerns.  The recommendations represent destination points that the
  84. system can, and eventually should, reach.
  85.  
  86. However, there is a difference between establishing a statistical
  87. improvement agenda and implementing that agenda. Proposing an itinerary
  88. of important statistical improvement destinations, while valuable, is
  89. not the same as determining how best to reach them or even which
  90. improvements to address first.  
  91.  
  92. Taking those steps will require additional research that explicitly
  93. considers the strengths and weaknesses of specific implementation
  94. strategies from such perspectives as information quality, cost, burden,
  95. and compatibility with current activities.  Thus, the National Forum's
  96. next step will be to convene a special task force to develop a plan for
  97. implementing the statistical system improvements recommended in this
  98. Guide. 
  99.  
  100.  
  101. Key Principles and Precepts
  102.  
  103. To guide the National Forum toward the goal of creating a national
  104. system of high-quality, policy-relevant education statistics, the Forum
  105. developed the following key principles that define the critical
  106. characteristics of data which the system should produce. The data
  107. should:
  108.  
  109. o    provide valid measures of the underlying phenomena of interest;
  110.  
  111. o    provide reliable measures of the underlying phenomena of interest;
  112.  
  113.       
  114. o    be reported at a level of aggregation consistent with the policy  
  115.      questions of interest; and
  116.  
  117. o    be reported in a timely fashion on a schedule that is consistent
  118.      with decisionmaking calendars.
  119.  
  120. The National Forum also developed the following five core precepts
  121. governing the creation of this statistical improvement GUIDE:
  122.  
  123. 1.   to focus on the high-priority information needs of education      
  124.      policymakers;
  125.  
  126. 2.   to focus on questions of what and why rather than how;
  127.  
  128. 3.   to focus, initially, on education descriptors and indicators;   
  129.  
  130. 4.   to focus on four specific data domains--background/demographics,  
  131.      education resources, school processes, and student outcomes; and
  132.  
  133. 5.   to focus on issues of data validity, reliability, level of
  134.      aggregation, and timeliness in identifying current system
  135.      limitations.
  136.  
  137. Organization of the Guide
  138.  
  139. The GUIDE examines the nature and adequacy of national data in the four
  140. major domains of background/demographics, education resources,  school
  141. processes, and student outcomes.  For each domain, the GUIDE:
  142.  
  143. o    discusses the potential importance of the data for policy
  144.      purposes, including the particular questions that should be
  145.      informed by such data;
  146.  
  147. o    discusses the nature and limitations of current national
  148.      collections and reports;
  149.  
  150. o    discusses potential strategies for improvement; and
  151.  
  152. o    summarizes specific data improvement recommendations. 
  153.  
  154. Rationale and Important Recommendations by Data Domain
  155.  
  156. The following sections of this summary explain the rationale for
  157. requesting data in each of the four major domains included in this
  158. study and list the specific statistical improvement recommendations
  159. that grew out of the analysis of each data domain.
  160.  
  161. I.    Student and Community Background Statistics
  162.  
  163. To be truly useful, a national education statistics system must go     
  164. beyond collecting data about the education system itself. The      
  165. statistics system must also provide data on the demographic or      
  166. background "inputs" that are likely to affect the condition and      
  167. performance of the Nation's schools. The policy questions concerning  
  168. demographic statistics have a number of important implications for     
  169. data collection and reporting.  
  170.  
  171. At the most fundamental level, policymakers must have the information  
  172. they need to discern broad trends and patterns in key demographic      
  173. characteristics of students, families, and school communities.        
  174. Given the mobility of student populations and the frequent changes in  
  175. their circumstances, data on such characteristics should be collected  
  176. often and reported with regularity.
  177.       
  178. In addition, accurate, reliable, and comparable data are needed to     
  179. allocate resources fairly. When jurisdictions employ idiosyncratic     
  180. definitions of student characteristics such as race, income, and      
  181. attendance that are used in allocating education program funds, the    
  182. integrity and fairness of the programs and their funding systems are   
  183. compromised.  Thus, whenever demographic data are used to allocate     
  184. program funds, it is especially important that definitions be      
  185. consistent and uniformly applied.
  186.       
  187. Finally, since demographic data are likely to be related to other data 
  188. in many types of analyses, policymakers should be able to look at      
  189. variables of interest by demographic subgroup, particularly in      
  190. addressing questions of equity.  Whether a policy question focuses on  
  191. individuals (e.g., Are students receiving instruction from "qualified" 
  192. teachers?) or aggregates (e.g., Are schools and districts employing    
  193. appropriately "qualified" instructors?), it is relevant to ask whether 
  194. the findings are consistent for all racial/ethnic groups and social    
  195. classes.
  196.  
  197. Recommendations.  The National Forum makes the following seven      
  198. recommendations for improving data collection and reporting in the     
  199. domain of student and community background statistics: 
  200.  
  201. 1.   Using data extracted from State administrative record systems on
  202.      the universe of public school students, the National Center for
  203.      Education Statistics (NCES) should annually collect and report
  204.      State- and national-level aggregates on the following student
  205.      background characteristics:
  206.  
  207.      o    Fall membership counts by race/ethnicity by grade; and
  208.      o    Fall membership counts by sex by grade.
  209.  
  210. 2.   NCES should annually report State- and national-aggregate
  211.      statistics collected by other agencies on the following student
  212.      subgroups:
  213.  
  214.      o    Handicapped students served, by type of handicap;
  215.      o    Free-lunch participants; and
  216.      o    Participants in compensatory, bilingual, and vocational
  217.           education programs.
  218.  
  219. 3.   NCES, in cooperation with other Federal and State agencies, should
  220.  
  221.      work toward the regular collection and reporting of the following 
  222.      State and national student background statistics:
  223.  
  224.      o    Limited-English-proficiency status;
  225.      o    Student handicapping conditions by race;
  226.      o    Participation in prekindergarten education programs;
  227.      o    Student health status (e.g., nutrition, health-related
  228.           absenteeism, and drug and alcohol use); and
  229.      o    Student mobility and migrant status.
  230.  
  231. 4.   The Office of Educational Research and Improvement (OERI) should
  232.      fund special studies investigating the efficacy of using free-
  233.      lunch data as proxies for student socioeconomic status (SES) and
  234.      the costs, benefits, and burdens associated with regularly
  235.      collecting and reporting alternative SES measures.  These studies
  236.      should specifically examine issues of validity, reliability, and
  237.      usefulness of free-lunch and alternative measures for different
  238.      types of reporting and analysis as well as administrative issues
  239.      related to the collection and reporting of such measures.  
  240.  
  241. 5.   NCES should develop the capacity to collect and report data on
  242.      private school student background characteristics that are
  243.      parallel to those being developed for the universe of public
  244.      school students.  Data might come from the NCES Private School
  245.      Survey and the Schools and Staffing Survey, and they should be
  246.      reported as national aggregates and, to the extent feasible, State
  247.      aggregates.
  248.  
  249. 6.   In reporting measures of education resources, school processes,
  250.      and student outcomes from its sample and universe surveys, NCES
  251.      should attempt, to the extent feasible and appropriate, to
  252.      provide disaggregated data using the following student and
  253.      community background characteristics:
  254.  
  255.      o    Sex; 
  256.      o    Racial/ethnic-group affiliation;
  257.      o    Limited-English-proficiency status;
  258.      o    Community wealth; and
  259.      o    Family income.
  260.       
  261. 7.   NCES should consider reporting distributional patterns for the  
  262.      following student and community background variables in
  263.      conjunction with particular resource, process, and outcome
  264.      measures:
  265.  
  266.      o    Public/private school enrollment;
  267.      o    Student employment status;
  268.      o    Measures of family background (e.g., parents' education,
  269.           language spoken in the home);
  270.      o    Student mobility; and
  271.      o    Student handicapping condition.
  272.  
  273. II.   Education Resource Statistics
  274.  
  275. Education resources include both fiscal resources and human and
  276. nonhuman resources.  States--and school districts within States--have
  277. varying amounts of money available to them, governmental levels
  278. providing funds (e.g., Federal, State, intermediate, and local), and
  279. funding sources (taxation, aid, and nontax revenues).  In recent years,
  280. education policymakers and the public have shown a growing concern
  281. about how education resources are allocated and what the relationship
  282. is between education spending and student achievement. Such concerns
  283. focus on five key questions:
  284.  
  285. 1.   What is the total amount spent on elementary and secondary     
  286.      education at the national, State, and local levels?
  287.  
  288. 2.   What percentage of that amount comes from each source of revenue 
  289.      (Federal, State, intermediate, local, and private)?
  290.  
  291. 3.   What do education dollars buy at the national, State, and local 
  292.      levels?
  293.  
  294. 4.   How are education resources distributed among the States and
  295.      school districts?
  296.  
  297. 5.   How do States allocate education resources given differences in
  298.      levels of student need, fiscal capacity, and cost?
  299.  
  300. The Federal Government already collects most of the data needed to
  301. address these major education resource policy questions, at least for
  302. reporting at the national and State levels of aggregation.  The
  303. redesign of the NCES Common Core of Data (CCD) has resulted in the
  304. creation of the new "National Public Education Financial Survey," which
  305. provides the most comprehensive and detailed data on education revenues
  306. and expenditures that have ever been available. Thus, some of the
  307. recommendations for this domain would require enhancements or
  308. improvements in current data collections rather than new collections.
  309.  
  310. In other resource areas, much developmental work and examination of
  311. alternative strategies will be necessary before implementation can
  312. proceed.  For example, economists have developed a variety of
  313. techniques for adjusting resource costs across States and over time (a
  314. major improvement recommendation in this domain). Each model has its
  315. strengths and weaknesses; each is appropriate for some purposes more
  316. than others;  and each carries with it different cost and burden
  317. implications. Thus,  considerable work is still needed before the
  318. National Forum can recommend implementing specific nationally adjusted
  319. education resource figures.  
  320.  
  321. Recommendations.  The National Forum makes the following 12
  322. recommendations for improving data collection and reporting in the
  323. domain of education resource statistics:
  324.  
  325. 1.   The National Center for Education Statistics (NCES) should collect
  326.      and report a set of national- and State-level education revenue,  
  327.      expenditure, and human resource measures on an annual basis, using
  328.  
  329.      data items from the "National Public Education Financial Survey"
  330.      and the Common Core of Data (CCD) Nonfiscal Surveys.
  331.  
  332. 2.   NCES should continue to provide training and technical support to 
  333.      States to "crosswalk" data elements specified by the current CCD
  334.      Financial Survey as well as other assistance necessary for
  335.      meeting the Handbook 2R2 classifications.
  336.  
  337. 3.   NCES and other Federal agencies should investigate the feasibility
  338.      of developing a State-by-State statistical measure to adjust
  339.      education resource data for differences among States and to report
  340.      education resource trends over time in constant dollars.  
  341.  
  342. 4.   NCES and other Federal agencies should investigate the feasibility
  343.      of developing a State-by-State statistical measure to adjust
  344.      salary data for differences among States and to report education
  345.      salary trends over time in constant dollars. 
  346.  
  347. 5.   NCES and other Federal agencies should engage in research and     
  348.      development efforts that will enable them to make accurate,     
  349.      comparable, and informative international comparisons of U.S.     
  350.      education resource commitments with those of other industrialized 
  351.      nations.   
  352.  
  353. 6.   NCES should continue to collect and report data from the CCD     
  354.      aggregated to the State level on an annual basis.  However, NCES  
  355.      should, over time, develop policies and procedures for the
  356.      regular collection and reporting of district-level resource data.
  357.      In moving toward district-level resource collections, NCES should
  358.      be particularly cognizant of: (1) identifying potential reports
  359.      that such data could generate and (2) the capacity of States to
  360.      provide district-level data.
  361.  
  362. 7.   NCES should expand the annual CCD "State Administrative Records  
  363.      Survey" to include: (1) an average teacher salary measure that
  364.      takes into account contract, career ladder, and other special-
  365.      incentive pay and (2) a teacher salary measure that takes into
  366.      account degree status and experience. 
  367.  
  368. 8.   NCES should make a long-term commitment to establishing a program-
  369.      and functionally based accounting system.  This will provide
  370.      NCES, policy analysts, and other education researchers with
  371.      better information about how education funds are spent and make it
  372.      possible to relate program resources to the specific education
  373.      needs of students.  The particular program levels to be collected
  374.      should be determined after additional study, taking into account
  375.      the costs and burdens associated with the development of
  376.      comparable definitions of relevant program categories across
  377.      different locales.
  378.  
  379. 9.   NCES should expand the Federal Government's survey of private
  380.      schools to include resource information.  Wherever feasible, NCES
  381.      should report private-school resource data from its surveys on a
  382.      State-by-State basis.
  383.  
  384. 10.  NCES should establish, as a long-term objective, the collection   
  385.      of data regarding the status of buildings, including the number, 
  386.      age, condition, and facility needs of the Nation's schools.
  387.  
  388. 11.  NCES should regularly report data on the number and descriptive   
  389.      characteristics (i.e., age, sex, race) of instructional,
  390.      instructional support, and noninstructional staff in the Nation's
  391.      schools.  Such data should be reported at the State level to the
  392.      extent feasible. 
  393.  
  394. 12.  NCES should establish, as a long-term objective, measures that    
  395.      indicate total dollar investments in education personnel.  These 
  396.      measures should be specific to different types of staff (e.g.,    
  397.      teachers, administrators, instructional aides) and include both
  398.      direct compensation expenditures (salaries) and indirect
  399.      compensation (fringe benefits).
  400.  
  401. III.  School Process Statistics
  402.  
  403. School process measures address questions such as who provides
  404. classroom instruction? what is being taught (and how well)? and what
  405. are the characteristics of the teaching and learning environment?  It
  406. is the view of the National Forum that school process measures
  407. constitute a necessary and important component for monitoring the
  408. condition of education; informing education policy at the national,
  409. State, and local levels; and providing better mechanisms for
  410. accountability. 
  411.  
  412. For the policymaker, there are three purposes for regular collection
  413. and reporting of school process measures. First, process measures can
  414. describe instructional practice and, with this, the degree to which
  415. quality education opportunities are available to all students in all
  416. schools. 
  417.  
  418. Second, process measures can monitor reform--the degree to which
  419. recommended changes in education practice are actually being
  420. implemented. Education in the United States is periodically subject to
  421. reform efforts that call for substantial changes in current practice,
  422. including changes in curriculum emphasis, organizational structure, and
  423. teaching techniques.  Monitoring these reforms requires a regular
  424. system of indicators.
  425.  
  426. Finally, process measures can help to explain discrepancies in
  427. education performance and point to reasons why student achievement may
  428. vary across locales and over time. For example, if student outcomes are
  429. improving more in one State than in another, knowledge of differences
  430. in curricula, instruction, and school organization can provide
  431. policymakers with clues to explain these differences and point them
  432. toward promising future policy directions.
  433.  
  434. We have divided our analysis of school process data into the following
  435. three interrelated sub-domains that, taken together, comprise the
  436. context of instructional practice:
  437.  
  438. o    implemented curriculum--including what is
  439.      actually taught in classrooms: content and topic
  440.      coverage, time and emphasis devoted to subject
  441.      areas, course taking, and the context in which
  442.      instruction occurs; 
  443.  
  444. o    teaching quality--including professional
  445.      preparation, use of appropriate instructional
  446.      strategies, acceptance of responsibility for
  447.      student success and failure, and certification
  448.      in assigned subject field; and
  449.  
  450. o    school environment--including academic emphasis,
  451.      school size and structure, curriculum offerings,
  452.      discipline, staff development, and availability
  453.      of high-technology equipment (e.g., computers).
  454.  
  455. Recommendations.  The National Forum makes the
  456. following six recommendations for improving data
  457. collection and reporting in the domain of school
  458. process statistics:
  459.  
  460. 1.   The National Center for Education Statistics
  461.      (NCES) should regularly collect and report
  462.      national and comparable State-level data on
  463.      student enrollment in academic and vocational
  464.      secondary courses by race/ethnicity, sex, and
  465.      other demographic subgroups as feasible and
  466.      appropriate.  To accomplish this, NCES must
  467.      first develop procedures for ensuring the
  468.      collection of broadly comparable data across
  469.      States on secondary-school course offerings. 
  470.      The Office of Educational Research and
  471.      Improvement (OERI) should also determine the
  472.      usefulness of collecting State-level data on
  473.      time allocated to subjects in the elementary 
  474.      grades (such as that currently collected in the
  475.      Schools and Staffing Survey [SASS] of NCES).
  476.  
  477. 2.   NCES should regularly collect and report data at
  478.      the national level on broad indicators of
  479.      teacher preparation (e.g., certification status,
  480.      number of courses taken in teaching area, major
  481.      field, and preservice and inservice development
  482.      and training experiences) by specific teaching
  483.      assignment.  Trends on these measures should be
  484.      related directly to changes in the size of the
  485.      teacher work force as well as student enrollment
  486.      patterns (i.e., teacher supply and demand).  In
  487.      addition, NCES should investigate the feasibility of
  488.      regularly collecting and reporting comparable State-by-
  489.      State statistics using such measures and of reporting on
  490.      the numbers of new teachers certified via "alternative"
  491.      routes.  
  492.  
  493. 3.   NCES should regularly collect and report data at the
  494.      national level on student "opportunities to learn"
  495.      specific instructional topics.  Work should begin first
  496.      on the high-priority subjects included in the     
  497.      national education goals (English, mathematics, science,
  498.      history, and geography) and then proceed to other
  499.      subjects.  OERI should develop new measures of the
  500.      depth and breadth of coverage for these topics for     
  501.      possible future collection and reporting at the national
  502.      and State levels.
  503.  
  504. 4.   NCES should regularly collect and report nationally
  505.      representative data on the school environment including
  506.      school-level measures of academic emphasis (e.g.,
  507.      curricular offerings and enrollments) and     
  508.      decisionmaking practices.  To the extent feasible, NCES
  509.      should relate such data to important background
  510.      characteristics of students attending these schools
  511.      (e.g., sex, race/ethnicity, handicapping condition,
  512.      socioeconomic status) as well as to key demographic     
  513.      characteristics of the larger school community. 
  514.  
  515. 5.   In order to measure progress in meeting the national
  516.      goal of "safe, disciplined, and drug-free schools"
  517.      (goal No. 6 adopted by the Nation's Governors and the
  518.      President), NCES or other Federal agencies should
  519.      regularly collect and report national- and State-level
  520.      data on drug and alcohol use and violence in the
  521.      schools, as well as on policies and programs undertaken
  522.      to prevent such occurrences.  To develop measures of
  523.      these, NCES should proceed immediately to examine     
  524.      the feasibility of augmenting its current sample surveys
  525.      (e.g., SASS),      mounting a new survey (e.g., using
  526.      the Fast Response Survey System), or working in concert
  527.      with other agencies concerned with these issues     
  528.      (e.g., Centers for Disease Control, Drug Enforcement
  529.      Agency).  To the extent feasible, these data should be
  530.      related to the background characteristics of students
  531.      and their home communities.  
  532.  
  533. 6.   OERI should fund special studies to improve the
  534.      measurement  of important school processes including
  535.      academic emphasis, subject-specific instructional
  536.      strategies, depth and breadth of content coverage, the
  537.      use of new technologies in instructional programs
  538.      (e.g., personal computers), and methods of training
  539.      teachers and assessing their competence.  Newly
  540.      developed measures created through such special studies
  541.      may eventually be incorporated into future regular     
  542.      national collections and reports.  
  543.  
  544. IV.  Student Outcome Statistics
  545.  
  546. In past years, parents, legislators, Governors, and leaders
  547. of business and industry frequently asked questions such as,
  548. "How are our education dollars being spent?"  Today, the
  549. question is more likely to be, "What is the result of
  550. spending our education dollars?"  The Nation's citizens and
  551. policymakers increasingly demand information about the
  552. results--the outcomes--of schooling.  
  553.  
  554. The types of information sought by policymakers about student
  555. education outcomes are reflected in the following questions:
  556.  
  557. o    What do our students know?  Do they know as much as
  558.      students in other States and countries?
  559.  
  560. o    How many of our students complete high school?  How many
  561.      drop out?   How do our graduation and dropout rates
  562.      compare with those of other States and the Nation as a
  563.      whole?
  564.  
  565. o    What do students do after high school?  How many attend
  566.      postsecondary institutions?  How many enter the
  567.      military?  How many enter the job market?  How
  568.      satisfied are they with their schooling experience?
  569.  
  570. o    Are achievement levels, completion rates, attitudes
  571.      about schooling, and the postsecondary-education
  572.      enrollment and employment status of our students
  573.      improving, staying the same, or declining over time?
  574.  
  575. These questions reflect the Nation's growing concern about
  576. what students learn throughout their K-12 education and
  577. whether students are being prepared for the transition to
  578. postsecondary education, employment, and adulthood as
  579. responsible and productive citizens.  The questions also
  580. illustrate the need for accurate information that
  581. policymakers can use in making decisions about allocating new
  582. education resources or reallocating existing ones; continuing
  583. current programs or developing new ones; and developing or
  584. revising policies, rules, and regulations.
  585.  
  586. Because States have the primary responsibility for education,
  587. it is important that they be able to assess and compare their
  588. progress toward meeting important national goals such as
  589. those established by the Governors and the President at the
  590. 1989 education summit.
  591.  
  592. Valid, comparable student outcome measures will improve
  593. public understanding of the condition of education and may
  594. help mobilize public interest in and support for the Nation's
  595. schools.  Conversely, the inappropriate collection and
  596. reporting of such measures may result in data that are not
  597. truly comparable and that do not reflect how schools are
  598. doing and what students are achieving.
  599.  
  600. We recommend that outcome measures be gathered and regularly
  601. reported in four distinct areas:  student achievement,
  602. student participation and progression, student status after
  603. high school, and student attitudes and  aspirations.  In
  604. addition, all outcome measures should be reported by
  605. race/ethnicity and sex in order to shed light on disparities
  606. in education achievement among important subgroups of the
  607. population.
  608.  
  609. Recommendations.  The National Forum makes the following 11
  610. recommendations for improving data collection and reporting
  611. in the domain of student outcome statistics across the four
  612. key sub-domains:
  613.  
  614. Student Achievement
  615.  
  616. 1.   Comparable and uniform student achievement measures
  617.      (using the State National Assessment of Educational
  618.      Progress [State-NAEP], if proven valid and reliable)
  619.      should provide State-by-State comparisons of knowledge
  620.      in core content areas (reading, writing, mathematics,
  621.      science, history, and geography) in grades 4, 8, and 12
  622.      at least once every 4 years.  Knowledge in other subject
  623.      areas such as literature, music, art, computer  
  624.      applications, and civics should also be periodically
  625.      assessed to the extent feasible.
  626.  
  627. 2.   Differences in performance among important subgroups of
  628.      students should be examined and reported at the national
  629.      and State levels.  Subgroups should include those
  630.      traditionally associated with sex, race and ethnic
  631.      origin, economic status, and language status.  Provision 
  632.      should be made for States, if they wish, to analyze the
  633.      sample of the student achievement study in their States
  634.      so that comparisons could be made among education units
  635.      by significant subgroups.
  636.  
  637. 3.   Trends in student performance over time should be
  638.      reported for all grades and subjects in which the
  639.      achievement data are collected at the national and
  640.      State levels.  However, reporting trends over time
  641.      should not restrict the development and use of new
  642.      assessment forms that tap a broader range of student
  643.      proficiencies than those typically associated with
  644.      "paper and pencil" tests. 
  645.  
  646. 4.   The Office of Educational Research and Improvement
  647.      (OERI), including the NAEP program, should give
  648.      priority to research, development, and experimentation
  649.      with new assessment techniques that can provide     
  650.      broader and more sophisticated measures of student
  651.      performance.
  652.  
  653. 5.   State-by-State student achievement measures should
  654.      include, in each administration, a performance
  655.      assessment component(s).  OERI should enter into
  656.      cooperative research and development arrangements with  
  657.      State and local large-scale assessment programs.
  658.  
  659. 6.   Student achievement results should be scaled in a way
  660.      that allows comparisons with international achievement
  661.      measures such as those from the International
  662.      Assessment of Educational Progress (IAEP) and the     
  663.      International Association for the Evaluation of
  664.      Educational Achievement (IEA).  Comparisons with
  665.      international achievement measures should be made on a
  666.      regular basis in order to monitor progress in meeting
  667.      the recently developed national education            
  668.      goal adopted by the Governors and the President.
  669.  
  670. 7.   Information should be collected on courses of study
  671.      completed at the time of national and State student
  672.      achievement assessments so that links might be made
  673.      between courses/curricula completed and assessment     
  674.      results.
  675.  
  676. 8.   Discussion should continue into possible linkages of
  677.      specific features of the National Assessment of
  678.      Educational Progress (NAEP) and the National Education
  679.      Longitudinal Study (NELS) survey instruments as     
  680.      well as better coordination of the two surveys by the
  681.      National Center for Education Statistics (NCES).  One
  682.      possibility is to equate the NELS achievement
  683.      instruments to the NAEP items.
  684.  
  685. Student Participation and Progression
  686.  
  687. 9.   NCES, in cooperation with State departments of
  688.      education, should obtain and periodically report
  689.      comparable State-by-State data on school dropouts and
  690.      completers by race/ethnicity, sex, and other     
  691.      important subgroups.  The specific measures calculated
  692.      should include: 
  693.  
  694.      o    An annual dropout rate as defined in the NCES
  695.           Dropout Field Test or as modified by the results of
  696.           the field test;
  697.  
  698.      o    A synthetic cumulative dropout rate; and
  699.  
  700.      o    A school completion rate incorporating, to the
  701.           extent feasible, the recommendations of the Council
  702.           of Chief State School Officers (CCSSO) School
  703.           Completion Task Force.
  704.  
  705. Student Status After High School
  706.  
  707. 10.  NCES, in cooperation with other Federal agencies and
  708.      State departments of education, should investigate the
  709.      feasibility of obtaining and periodically reporting
  710.      comparable State-by-State data on the following     
  711.      subjects by race/ethnicity, sex, and other important
  712.      subgroups:
  713.  
  714.      o    The percentage of high school graduates who enroll
  715.           in different types of postsecondary institutions
  716.           within a year of graduation;
  717.  
  718.      o    The percentage of high school graduates who enter
  719.           the military within a year of graduation;
  720.  
  721.      o    The percentage of high school graduates who enter
  722.           the civilian labor force within a year of
  723.           graduation; and
  724.  
  725.      o    The percentage of high school graduates in the
  726.           civilian labor force who are employed/not employed
  727.           one year after graduation.      
  728.  
  729. Student Attitudes and Aspirations
  730.  
  731. 11.  OERI should fund special studies related to the regular
  732.      collection and reporting of data on student attitudes
  733.      toward education and schooling and their future
  734.      aspirations.  These studies should investigate both     
  735.      the technical validity and reliability of potential
  736.      statistics of this type and their perceived usefulness
  737.      for purposes of education policymaking and planning.
  738.  
  739. Expectations and Future Actions
  740.  
  741. The 36 recommendations contained in the Guide provide an
  742. ambitious but essential initial blueprint for reform of the
  743. national elementary and secondary education data collection
  744. and reporting system.  Implementing these improvements would
  745. substantially alter the landscape of this system. 
  746.  
  747. It is important to make several points about the potential
  748. impact of the recommendations.  First, many of the
  749. recommendations can be implemented through enhancements or
  750. modifications of existing surveys rather than through new
  751. data collections.  In these cases, implementation is  likely
  752. to be more feasible and less costly than might otherwise be
  753. true. The tables that accompany this document identify the
  754. specific agencies and national surveys that may be affected
  755. by implementing the recommendations contained in the GUIDE.
  756.  
  757. Second, a basic data system infrastructure is being created
  758. through the National Cooperative Education Statistics System
  759. for implementing many of the statistical improvements we
  760. contemplate.  Third, there appears to be a reasonable balance
  761. of burdens between the States and the Federal Government
  762. associated with implementing the recommended improvements.
  763.  
  764. Finally, although some recommendations can be acted upon
  765. relatively quickly, others will require considerable time.   
  766.  
  767. What are our expectations for this document?  First and
  768. foremost, we expect that the Guide will begin a systematic
  769. process of national reform in education statistics. 
  770. Specifically, we expect that:
  771.  
  772. o    all members and associates of the National Forum will
  773.      commit their constituent organizations to investigating
  774.      the possibility of making the improvements necessary to
  775.      meet the objectives outlined in the data improvement
  776.      recommendations;
  777.  
  778. o    this guide will serve as a basis for subsequent
  779.      interchanges among members of the National Forum and
  780.      relevant agency(ies) at the Federal, State, and local
  781.      levels on strategies for implementing these     
  782.      recommendations; and
  783.  
  784. o    the National Forum will develop a strategic plan for
  785.      implementing the recommendations based on the results of
  786.      these discussions.
  787.  
  788. Our expectations for this report are ambitious. We believe
  789. that the broad-based, consensus-building approach by which
  790. the report was developed gives credence to its
  791. recommendations.  We anticipate that those who develop and
  792. implement education statistical policies will find this
  793. improvement agenda useful and will take the agenda seriously.
  794. We hope they believe, as we do, that creating a national
  795. education data system based on a spirit of cooperation and
  796. consensus building will result in the highest quality data,
  797. superior policymaking, and, ultimately, a more effective and
  798. efficient education system.
  799.  
  800.  
  801.  
  802.                 GPO PUBLICATION ORDER FORM                    
  803.  
  804. 1. PUBLICATION REQUESTED
  805.  
  806. NAME:  A Guide to Improving the National Education Data System
  807.            
  808. GPO STOCK NUMBER:  065-000-00452-6
  809.  
  810. COST:         per copy              NUMBER OF COPIES:
  811.  
  812.           
  813. 2. REQUESTOR INFORMATION (Please type or print)
  814.  
  815. NAME:                                                     
  816.                                                                 
  817. NAME OF ORGANIZATION:                                     
  818.                                                                 
  819. MAILING ADDRESS (include number, street, city, State, and zip
  820. code):  
  821.                                        
  822.  
  823.  
  824.  
  825. DAYTIME PHONE (include area code): 
  826.  
  827. TOTAL COST OF ORDER IS $             (International customers
  828. please add an additional 25%.)  All prices include regular domestic
  829. postage and handling.  Please call Order and Information Desk at
  830. 202-783-3238 to verify prices, which are subject to change.
  831.  
  832. 3. ORDERING INSTRUCTIONS
  833.  
  834. To obtain a copy of this publication, complete the order form,
  835. and choose method of payment:
  836.  
  837.   [  ] Check payable to Superintendent of Documents           
  838.    
  839.   [  ] GPO Deposit Account  [   |   |   |   |   |   |   ]-[   ]
  840.    
  841.   [  ] VISA    or   [  ] MasterCard Account                    
  842.  
  843.   [   |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  ]
  844.  
  845.    
  846. -------------------------------------    ---------------------------
  847.    Signature                             Credit Card Expiration date
  848.  
  849.  
  850. Mail to:       Superintendent of Documents
  851.                Government Printing Office
  852.                Washington, D.C.  20402-9325
  853.  
  854.                Thank you for your order
  855.                                                                 
  856.                                                                 
  857.